Arroccato sulle Alte Murge di 'Serraficaia', nell'attuale territorio di Poggiorsini, il Castello del Garagnone oggi appare come un sinistro rudere ubicato su un'altura di 600 metri. Oggetto di una consistente indagine storica e di analisi topografiche e territoriali il castello rappresenta una testimonianza di quello che storici come R. Licinio hanno chiamato il 'sistema castellare' presente in età normanna e sveva in Puglia. Un sistema di castelli e fortificazioni disposte lungo i principali assi viari che attraversavano la regione, spesso edificati su alture per meglio controllare il territorio soprattutto lungo le aree di confine.
Il castello del Garagnone, dominava la piana compresa tra i rilievi che attualmente segnano i confini tra Puglia e Basilicata e dove in età medievale scorreva la via Appia (statio di Silvium) ed anche quell'asse viario che dalla piana di Savignano, attraverso Castel del Monte, giungeva ad Andria. L'importanza strategica di questo sito, attestata anche da E. Bertaux, è confermata da altri complessi fortificati che si rintracciano poco distanti dal Garagnone sui rilievi che oggi sono compresi nel territorio della Basilicata come il castello di Monteserico.
La ricca documentazione di fonti notarili ed esaziali consente di seguire le vicende di questo complesso fortificato dalle sue origini, documentate già in età normanna, sino all'età moderna, ossia sino al terremoto del 1731 che segnò la quasi completa distruzione ed il relativo abbandono dell'insediamento.
Il nome del sito, infatti, compare per la prima volta in un documento del 1149: si tratta di un atto notarile nel quale un tal Petro Guarannioni f. Amati riceve un beneficio da Nicola, figlio di Pietro da Corato. Nel 1174 l'esistenza del castello è confermata dalla presenza di un castellano di nome Ionatha. Sin dai primi decenni del XIII secolo i documenti fanno intendere come il castello del Garagnone fosse una fortificazione che dominava un vasto territorio nel quale sorgevano altri tipi di costruzione, una torre detta di Maraldo citata nel 1192, e come l'intero insediamento venisse considerato già a fine XII secolo un importante possesso. Infatti sono del 1197 due documenti con i quali si attesta il passaggio della domus del Garagnone a grangia della casa barlettana dell'ordine dell'Ospedale di San Giovanni di Gerusalemme.
Sotto Federico II il Garagnone fu oggetto di importanti interventi dei quali si ha notizia soprattutto nello Statutum de reparatione castrorum (1241-1246). Qui è attestato come la domus ospitaliera venisse restaurata o ricostruita con il contributo della stessa comunità residente e degli uomini di Valenzano ed Auricarro, feudo quest'ultimo assegnato dall'imperatore svevo all'architetto cipriota Filippo Chinardo.
Un'importanza sempre crescente portò la domus del Garagnone a giocare un ruolo di primo piano all'interno dell'economia dell'Ordine degli Ospitalieri, ma anche delle politiche imperiali federiciane e di quelle regie degli Angioini. Saccheggiato già nel 1252 da Corrado IV come riporta M. Spinelli, il Garagnone fu al centro di una ribellione anti-angioina a seguito della caduta di Corradino e per questo venne nuovamente saccheggiato nel 1268. Sorte analoga nel 1357 quando il castello fu occupato e incendiato dal signore di Andria Francesco del Balzo.
Oltre al ruolo politico e di controllo del territorio il tenimento del Garagnone dall'età normanna a quella sveva aveva assunto una notevole importanza anche economica. Se dai primi documenti del XII e XIII secolo che lo riguardano è poco chiaro se questo possesso fosse circoscritto al solo castello o potesse estendersi anche ai territori circostanti, nei documenti riportati nei Registri della Cancelleria Angioina è evidente come potesse identificarsi come feudo, inserito nel 1270 in un elenco di terrae e loci del Giustizierato di Terra di Bari con al centro una comunità cittadina che si era stabilita all'interno delle mura e nel tenimentum esterno.
E' riportata la presenza di una universitas che attendeva a lavori di produzione agricola e che si organizzava con un sistema di abitazioni e ambienti di servizio che sorgevano all'interno di una cinta muraria, protetti dal castello stesso, come parrebbe confermato dall'elenco dei dazi ai quali la stessa comunità fu sottoposta in età angioina.
Un centro così organizzato non poteva rinunciare ad una chiesa puntualmente riportata dalle indagini documentarie di D. Vendola nelle Rationes decimarum.
In età angioina e aragonese il castello e l'intero territorio di pertinenza del Garagnone compare in molti documenti notarili; e addirittura nel 1373 nell'inchiesta promossa da Papa Gregorio IX sugli Ospitalieri della diocesi di Trani, l'insediamento è indicato come "grangia attiva dell'Ordine diretta da un tale Fra' Bisanzio, definito castellano e titolare della domus composta da un dominus Martino, cappellano, e da dieci uomini tra i quali figuravano un panettiere, un fornaio, due uomini di fatica, un acquaiolo ed un carrerius, che invece raccoglieva la legna, mentre per la sorveglianza erano presenti due servientes".
Di certo il XIV secolo segna una inversione di tendenza ed il castrum del Garagnone sembra pian piano decadere. Già nei rapporti dell'inchiesta papale del 1373 si riscontra una comunità ridotta, ma comunque dedita ad attività agricole e rurali. E proprio lo sfruttamento del territorio, la produzione cerealicola e i pascoli, saranno al centro di vivaci interessi tra i conti di Gravina e Altamura, a cominciare da Francesco Orsini che intorno al 1420 si proclama conte di Gravina e del Garagnone. Dispute che continuarono sino al XVII secolo, quando il possedimento divenne proprietà privata di Ercole Grimaldi nel 1615, del principe di Cellamare dal 1643, di Giulia Gaudiosi dal 1696, di Giulia Nicastro dal 1705, di Tommaso Mazzacara nel 1710 e dei baroni Melodia dal 1860. Nel frattempo il castrum doveva aver subito notevoli devastazioni che culminarono nel 1731 quando un terremoto distrusse quanto rimaneva dell'antico castello.